VCG: A Multimodal Retrieval Framework for E-Commerce Video Feeds under Extreme Cold-Start Conditions
面向电商视频流极端冷启动的多模态检索框架 VCG
🧭 多模态向量检索 · 极端冷启动 ★ 深度解读
TU Wien · Zalando SE · Zalando Switzerland AG
用域适应 CLIP 构建双塔向量检索，绕过交互历史，在线视频深度观看提升 50%
📌 工作参考价值（4 点）
- 视觉语义向量替代行为信号做冷启动：新品 / 新视频无交互时，直接用像素级 CLIP 嵌入做相似度检索，适合电商直播、短视频 feed 的极端冷启。
- 用户动态表示技巧：用近期交互商品的 CLIP 嵌入按时间衰减加权平均构建用户向量，无需训 User Tower，可快速嫁接已有商品多模态表征，适合推荐系统快速上线视频流场景。
- 离线评测用 LLM-as-a-Judge 替代有偏指标：当历史日志存在曝光偏差时，用 Qwen-VL 按 5 级量表评估视觉匹配度，能提前验证语义相关性，可作为业务中替代 NDCG 的离线 proxy。
- 检索场景优先选判别式嵌入（CLIP 而非 LLM）：论文验证了 Qwen 等生成式模型虽有更强属性预测能力，但嵌入空间各向异性严重，k-NN 检索效果差，业务中若做向量搜索应优先选择对比学习训练的多模态表征。